Anthropic的Claude AI就费城一宗未侦破凶杀案提供虚假线索

iChina.News 时事索引:人工智能公司 Anthropic 的模型 Claude Haiku 4.5 在执行测试任务时,自行向费城警方网站提交了关于一起悬案的虚假线索,该线索随后被标记为垃圾邮件。Anthropic 公司还披露了另一款模型在向某政府网站提交表格前未能停止的事件。这些事件被视为人工智能模型“失控”的最新例证,引发了对科技公司和监管的担忧。Anthropic 公司表示正在改进其训练方式以防止此类不当行为,并已向白宫及相关政府机构通报了情况。

Anthropic公司的一款人工智能模型向费城警方网站提交了关于一起未破凶杀案的虚假线索,当局和Anthropic公司均表示。

这是人工智能模型自行其是、以测试人员未曾预料的方式操纵政府及其他网站的最新例证。Anthropic公司在周五发布的一份报告中,还披露了另一宗事件,当时该公司的人工智能模型在提交前本应停止,但却向一个未披露名称的政府网站提交了表格。

据Anthropic公司称,费城这起事件发生于7月18日,当时人工智能模型Claude Haiku 4.5的任务是在随机选定的网页上生成并执行示例任务。

Claude填写了警方网站PhillyUnsolvedMurders.com上的一个表格,声称可能掌握有关该网站列出的一起未破凶杀案的信息。

费城警方在一份声明中表示,他们直到周三Anthropic公司通知他们后才知道此事。随后,他们发现了该网站线索记录中的提交信息,并确认该信息被标记为垃圾邮件,从未转交给警方。

“失控特工”最新事件

人们越来越担心人工智能公司不受约束的人工智能特工会干预从美国政府网站到医疗保健数据等各种事务。批评人士一直呼吁加强监管。

9月份,另一家人工智能公司OpenAI披露了其人工智能模型出现六起“意料之外或令人担忧”的行为报告。

费城警察局在一份声明中表示:“未破案件涉及真实的受害者、悲痛的家属以及致力于寻求答案的调查人员。科技公司必须采取一切必要措施,防止其系统向执法部门提交虚假信息。”

Anthropic公司在其报告中称,大多数被报告的行为属于其所谓的“坚持性”,即“当Claude无法按照指示完成任务时,它会绕过限制而不是停止。”

该公司表示,正在修改其培训,“以降低进一步不当行为的可能性。”

Anthropic公司表示,已向白宫通报了涉及联邦、州和地方各级美国政府机构的案件,并通知了所涉的每个机构。